什麼是線性獨立？

我們先假設一組向量 v1,v2,....,vn，那如果：

a1v1 + a2v2 + ⋯ + anvn = 0

唯一的解是 a1 = a2 = ⋯ = an = 0，那它們就是線性獨立。如果不存在不全為0的係數也能成立，則代表線性相依。

也就是說當線性獨立則代表這組向量沒有多餘的成員。而若是相依則代表不會出現「同一個向量有兩種以上不同的組合公式」。

接著我們來看一個例子，給定 (1,0) 和 (0,1) 兩個向量，請問這組向量是否線性獨立？

我們可以看到a1(1,0) + a2(0,1) = (0,0) 的唯一解是 (a1,a2)=(0,0) 所以他們會是線性獨立。

什麼是基底？

基底其實就像是坐標軸，可以用此坐標軸來寫出空間中的任何向量。反過來說就是如果你可以用基底元素的線性組合，剛好組出向量空間中的每個元素，那就代表它是一個基底。

所以呢基底就是像是「空間的最小生成骨架」，那怎麼判斷是否是基底可以根據下面的例子來看看： {((1,0,0), (0,1,0), (0,1,1))} 是不是基底？

我們先判斷「生成性」也就是該基底能不能能不能生成整個 𝑅＾3？
首先我們把每個係數乘進向量中

a1(1,0,0) + a2(1,1,0) + a3(0,0,1)

就可得到展開式：

(a1 + a2, a2, a3) = (x,y,z)

所以呢 a2 = y 而 a1 + y = x -> a1 = x − y
不管 x,y,z 是什麼，都能解出 a1, a2, a3 → 生成性成立。

接著我們來檢查線性獨立性，看它是不是基底？

(a1 + a2,a2,a3)=(0,0,0)

則 a2=0 接著看第一個座標 a1 + a2 = 0 ⇒ a1 + 0 = 0 ⇒ a1 = 0
而第三個係數 a3 = 0 也成立，線性獨立成立。

因此剛剛已經證明它同時有 生成性 和 線性獨立性，這組向量就是 𝑅3 的基底。

在資料科學中的用處？

線性獨立可以用來檢查特徵（features）之間是否「多餘」。像是如果兩個如果兩個特徵線性相依（或高度相關），其實只保留一個就夠了，因為另一個不會提供新的資訊。這樣可以降低計算量，避免多重共線性（multicollinearity）。像是在房價預測中，如果你已經有「坪數」，再加一個「平方公尺」其實是相依的。

另外基底就像一組新的座標系統，可以用來重塑資料的表達方式。像是在 PCA 中找到一組新的正交基底，使得前幾個基底方向保留最多資料變異量。這樣我們可以用少量基底（維度）來表示資料。像是在圖像識別中，數千像素可以壓縮到幾十個主成分基底，還能保留主要特徵。